We show that parametric models trained by a stochastic gradient method (SGM) with few iterations have vanishing generalization error. We prove our results by arguing that SGM is algorithmically stable in the sense of Bousquet and Elisseeff. Our analysis only employs elementary tools from convex and continuous optimization. We derive stability bounds for both convex and non-convex optimization under standard Lipschitz and smoothness assumptions.Applying our results to the convex case, we provide new insights for why multiple epochs of stochastic gradient methods generalize well in practice. In the non-convex case, we give a new interpretation of common practices in neural networks, and formally show that popular techniques for training large deep models are indeed stability-promoting. Our findings conceptually underscore the importance of reducing training time beyond its obvious benefit.
translated by 谷歌翻译
DeepMind的游戏理论与多代理团队研究多学科学习的几个方面，从计算近似值到游戏理论中的基本概念，再到在富裕的空间环境中模拟社会困境，并在困难的团队协调任务中培训3-D类人动物。我们小组的一个签名目的是使用DeepMind在DeepMind中提供的资源和专业知识，以深入强化学习来探索复杂环境中的多代理系统，并使用这些基准来提高我们的理解。在这里，我们总结了我们团队的最新工作，并提出了一种分类法，我们认为这重点介绍了多代理研究中许多重要的开放挑战。
translated by 谷歌翻译
在以前的工作中，提出了一种新型的Edge轻巧可搜索的基于属性的加密（ELSA）方法，以支持行业4.0，特别是工业互联网应用程序。在本文中，我们旨在通过整合适合在边缘执行的机器学习（ML）方法来最大程度地降低查找表的大小并汇总数据记录来改善ELSA。该集成将通过评估进一步处理的附加值来消除不必要数据的记录。因此，导致查找表大小，云存储和网络流量的最小化充分利用了边缘体系结构优势。我们在著名的发电厂数据集上展示了我们的Mini-Elsa扩展方法。我们的结果表明，将存储要求减少了21％，同时将执行时间提高了1.27倍。
translated by 谷歌翻译
在许多多机构设置中，参与者可以组建团队以实现可能超过其个人能力的集体成果。衡量代理商的相对贡献并分配促进持续合作的奖励份额是艰巨的任务。合作游戏理论提供了识别分配方案（例如沙普利价值）的解决方案概念，这些概念公平地反映了个人对团队或核心表现的贡献，从而减少了代理人放弃团队的动机。此类方法的应用包括识别有影响力的特征并分享合资企业或团队成立的成本。不幸的是，即使在受限设置中，使用这些解决方案也需要解决计算障碍，因为它们很难计算。在这项工作中，我们展示了如何通过训练神经网络提出公平和稳定的回报分配来将合作游戏理论解决方案蒸馏成学习的模型。我们表明，我们的方法创建的模型可以推广到远离训练分布的游戏，并且可以预测比训练期间观察到的更多玩家的解决方案。我们框架的一个重要应用是可以解释的AI：我们的方法可用于加快在许多情况下的Shapley价值计算。
translated by 谷歌翻译
大图通常出现在社交网络，知识图，推荐系统，生命科学和决策问题中。通过其高级别属性总结大图有助于解决这些设置中的问题。在光谱聚类中，我们旨在确定大多数边缘落在簇内的节点簇，而在簇之间只有很少的边缘。此任务对于许多下游应用和探索性分析很重要。光谱聚类的核心步骤是执行相应图的拉普拉斯矩阵（或等效地，奇异值分解，SVD）的特征分类。迭代奇异值分解方法的收敛取决于给定矩阵的光谱的特征，即连续特征值之间的差异。对于对应于群集图的图形的图形拉普拉斯，特征值将是非负的，但很小（小于$ 1 $）的减慢收敛性。本文引入了一种可行的方法，用于扩张光谱以加速SVD求解器，然后又是光谱群集。这是通过对矩阵操作的多项式近似来实现的，矩阵操作有利地改变矩阵的光谱而不更改其特征向量。实验表明，这种方法显着加速了收敛，我们解释了如何并行化和随机近似于可用的计算。
translated by 谷歌翻译
我们提出了一种快速且数值准确的方法，用于扩展数字化的$ l \ times l $图像，代表$ [-1,1]^2 $在磁盘$ \ {x \ in \ in \ mathbb {r}^2：| |磁盘上的谐波（dirichlet laplacian eigenfunctions）中的x | <1 \} $。我们的方法以$ \ Mathcal {O}（l^2 \ log L）$操作运行。此基础也称为傅立叶贝塞尔基础，它具有多个计算优势：它是正交的，按频率订购，并且可以通过将对角线变换应用于系数来旋转，从而可以旋转图像。此外，我们表明，具有径向函数的卷积也可以通过将对角变换应用于系数进行有效计算。
translated by 谷歌翻译
资源受限的分类任务在实际应用中很常见，例如为疾病诊断分配测试，填补有限数量的职位时雇用决策以及在有限检查预算下制造环境中的缺陷检测。典型的分类算法将学习过程和资源约束视为两个单独的顺序任务。在这里，我们设计了一种自适应学习方法，该方法通过迭代微调错误分类成本来考虑资源限制和共同学习。通过使用公开可用数据集的结构化实验研究，我们评估了采用建议方法的决策树分类器。自适应学习方法的表现要比替代方法要好得多，尤其是对于困难的分类问题，在这种问题上，普通方法的表现可能不令人满意。我们将适应性学习方法设想为处理资源受限分类问题的技术曲目的重要补充。
translated by 谷歌翻译
我们解决产品生成任务。对于给定的产品描述，我们的目标是生成反映潜在用户信息需求的问题，这些需求要么缺少或不涵盖描述中的问题。此外，我们希望涵盖可能涵盖多种产品类型的各种用户信息需求。为此，我们首先展示了如何对任务进行微调的T5预训练的变压器编码器模型。然而，尽管与最先进的任务方法相比，T5产生的问题具有合理的质量（KPCNET），但许多此类问题仍然太笼统，导致了次优最佳的全球问题多样性。作为替代方案，我们提出了一种新颖的学习对多样化（LTD）微调方法，该方法可以丰富基础变压器模型所学的语言。我们的经验评估表明，使用我们的方法可显着提高基础变压器模型的全球多样性，同时尽可能多地保持其一代相关性。
translated by 谷歌翻译
时间图神经网络（时间GNN）已被广泛研究，在多个预测任务上达到了最新的结果。大多数先前作品采用的一种常见方法是应用一个层，该图层汇总了节点历史邻居的信息。朝着不同的研究方向迈进，在这项工作中，我们提出了TBDFS - 一种新颖的时间GNN架构。 TBDF应用一个层，该图层有效地将信息从时间路径聚集到图中的给定（目标）节点。对于每个给定的节点，将聚集分为两个阶段：（1）在该节点中结束的每个时间路径的单个表示，并且（2）所有路径表示都汇总为最终节点表示。总体而言，我们的目标不是在节点中添加新信息，而是从新角度观察相同的确切信息。这使我们的模型可以直接观察到面向路径的模式，而不是面向邻里的模式。与以前的作品中应用的流行呼吸优先搜索（BFS）遍历相比，这可以认为是时间图上的深度优先搜索（DFS）遍历。我们通过多个链接预测任务评估了TBDF，并显示出与最先进的基线相比的表现。据我们所知，我们是第一个应用Perimal-DFS神经网络的人。
translated by 谷歌翻译
背景和客观：冷冻EM图像的对比度因冰层的厚度不均匀而变化。这种对比变化会影响2-D类平均，3-D AB-Initio建模和3-D异质性分析的质量。当前在3次迭代精炼期间进行对比度估计。结果，在类平均和AB-Initio建模的早期计算阶段无法获得估计值。本文旨在直接从AB-Initio阶段的采摘粒子图像解决对比度估计问题，而无需估计3-D体积，图像旋转或类平均值。方法：我们的分析基础的关键观察是，原始图像的2-D协方差矩阵与基础干净图像的协方差有关，噪声方差以及图像之间的对比度可变性。我们表明，对比度可变性可以从2-D协方差矩阵得出，并应用现有的协方差Wiener滤波（CWF）框架来估计它。我们还展示了CWF的修改，以估计单个图像的对比度。结果：与先前的CWF方法相比，我们的方法将对比度估计提高了很大。它的估计准确性通常与知道干净图像的地面真相协方差的甲骨文相提并论。更准确的对比度估计还提高了合成数据集和实验数据集所示的图像恢复质量。结论：本文提出了一种有效的方法，即不使用任何3-D体积信息，直接从嘈杂图像中进行对比度估计。它可以在单个粒子分析的早期阶段进行对比校正，并可以提高下游处理的准确性。
translated by 谷歌翻译